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Рассматривается проблема нахождения количества информации по Шеннону в совместной задаче фильтрации и интерполяции 
стохастических процессов по непрерывно-дискретным наблюдениям с памятью. Получены соотношения, определяющие эволю- 
цию во времени шенноновских мер количества информации в форме разложений, в которых в явном виде выделены количест- 
во информации для раздельных задач фильтрации и интерполяции. 


1. Введение 

В системах калмановского типа [1,2] основным 
математическим объектом является пара процес- 
сов {х,;у,\ с непрерывным либо дискретным време- 
нем, где х, является ненаблюдаемым процессом, а у, 
- наблюдаемым процессом. Обобщением является 
ситуация, когда х, - процесс с непрерывным време- 
нем, а у гУІШЧыФ»)}, т= 0,1,..., т.е. наблюдает- 
ся совокупность процессов с непрерывным і, и 
дискретным г/(4) временем, которые обладают па- 
мятью относительно ненаблюдаемого процесса и 
зависят как от текущих так и от прошлых значений 
процесса х,. Для подобного класса процессов в 
[3, 4] рассмотрена задача фильтрации, в [5, 6] - за- 
дача обобщенной экстраполяции, а в [7] - задача 
распознавания. Любая статистическая задача име- 
ет информационный аспект [8], суть которого зак- 
лючается в нахождении соответствующих коли- 
честв информации о значениях ненаблюдаемого 
процесса (полезного сигнала), которые содержатся 
в реализациях наблюдаемых процессов (сигналов 
на выходе каналов передачи). Кроме того, знание 
количества информации позволяет исследовать 
вопросы, являющимися специфическими в теории 
информации, такие как минимизация ошибки 
воспроизведения сигнала [9, 10], максимизация 
пропускной способности каналов передачи [11], 
оптимальная передача сигналов [12], а также воп- 
росы информационного обоснования задач оцени- 
вания [13, 14]. Для подобного класса процессов 
{х;,і,\ д(4)} в [15, 16] рассмотрен информационный 
аспект задачи фильтрации в случае наблюдений без 
памяти и с памятью единичной кратности, а в [8] — 
совместной задачи фильтрации и обобщенной 
экстраполяции в случае памяти произвольной па- 
мяти. В данной работе рассматриваются вопросы 
нахождения шенноновских мер количества инфор- 
мации /Цх„х Ті ,...,х % Х77 0 ”] о значениях х„ х г „ ..., х г „ 
ненаблюдаемого процесса в текущем / и произ- 
вольном числе прошлых моментов т ь ...,т м време- 
ни, которые содержатся в реализациях наблюдае- 
мых процессов, в форме представления /(,[•] через 
информационные количества /,[х,;4, ??”] и 
/і[х Т| ,...,х Гл „7о,Т7о”] о текущих и прошлых значениях 
ненаблюдаемого процесса, соответственно. 


Используемые обозначения: Р{-} — вероятность 
события; М{-} - математическое ожидание; п\А\ - 
след матрицы; ІУ' - обращение матрицы Д; Д г - 
транспонирование матрицы или вектора; если 
(р(х) - скалярная функция л-мерного аргумента х, 
то дф/дх есть вектор столбец с компонентами 
д(р/дх ь к=\\п, а д 2 (р/дх 2 есть матрица с компонента- 
ми д 2 (р/дх к дх ь к=1]п, /=1;и; д<р(х,)/дх, и д 2 (р(х')/дх 2 , 
означают дср(х)/дх\ х=Хі и д 2 (р{х)/дх 2 \ х=Хі . 

2. Постановка задачи 

На вероятностном пространстве (і2,Р,Д=(Р,) е0 ,Р) 
не наблюдаемый и-мерный процесс х, (полезный 
сигнал) и наблюдаемый /-мерный процесс % (сигнал 
на выходе непрерывного канала передачи) опреде- 
ляются стохастическими дифференциальными 
уравнениями [17, 18] 

сіх, = /(1,х,)с1{ + Ф І (і)\ѵ,,і >0, (2.1) 

сіі , +Ф 2 {і,г)(1ѵ 1 , (2.2) 

а наблюдаемый ^-мерный дискретный процесс 
т](І т ) (сигнал на выходе дискретного канала переда- 
чи) имеет вид 

П(0 = 8б„,,х, п ,,х Ті ,---,х гіі ,г) + Ф 3 (і т ,Ф%(і, ), т =0,1,..., (2.3) 

где 0</ 0 <Тд,< Предполагается: 1) м >, и ^яв- 
ляются стандартными винеровскими процессами 
размеров і\ и г ъ ^(/,„) стандартная белая гауссовская 
последовательность размера т 3 ; 2) х 0 , іѵ„ ѵ„ ^(?„,) - 
независимы; 3) Л(-), Ф,( ) и #( ), Ф 3 () являются не- 
упреждающими функционалами от реализаций со- 
ответственно і=^={і а 'Л<а<і} и наблюдаемого 
процесса і,\ 4) коэффициенты уравнений (2.1) и 

(2.2) удовлетворяют условиям [17, 18], обеспечива- 
ющим существования решений, а §(■) - непрерыв- 
на по всем аргументам; 5) 0()=Ф,()Ф^()>О, 
і?()=ф,()ф[()>0, К( )=Ф,( )Ф(( )>0; 6) задана на- 
чальная плотность д,(х 0 )=дР{х 0 <х}/дх. 

Замечание 1. Модели процессов і, и ц(і т ) вида 

(2.2) , (2.3), соответствуют наблюдениям с фиксиро- 
ванной памятью, если Т(.=сош1:, и наблюдениям со 
скользящей памятью, если т к =і-і‘ к в (2.2) и г к =І т -І к в 

(2.3) , где 4*=сошІ, 4=І;/Ѵ[5, 6]. В данной работе рас- 
сматривается случай фиксированной памяти. Зави- 
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симость Н(-) и §(■) от г означает, что каналы наблю- 
дения обладают бесшумной обратной связью отно- 
сительно процесса [11, 12, 18]. Отсутствие обрат- 
ной связи, когда И(-) и ,§•(■) не зависят от і, следует 
как частный случай. 

Ставится задача: найти соотношения, опреде- 
ляющие эволюцию во времени совместного коли- 
чества информации /!,[х„х Г| ,...,х Гѵ ;го,т?о'] 0 текущих х, 
и прошлых х, ,,..., х. ѵ значениях ненаблюдаемого 
процесса, которое содержится в совокупности реа- 
лизаций 4={^:0<сг<7} и 77;'={77(/ 0 ),77(?,),...,77 (/ и ); 4<?} 
наблюдаемых процессов в виде представлений /',[•] 
через информационные количества /,[х ( ;4,П”] и 
/][х Гі ,...,х % ;^о, ц"] о текущих и прошлых значениях 
ненаблюдаемого процесса, соответственно. 

Решение поставленной задачи может быть осу- 
ществлено на основе представления количества 
информации через плотности распределения веро- 
ятностей с использованием формул Ито [17, 18] и 
Ито-Вентцеля [19, 20] с использованием результа- 
тов [1, 2]. Если, аналогично [5, 7], ввести расши- 
ренные процессы и переменные 

,х и+1 = М, (2.4) 

то в предположении существования плотностей ве- 
роятности ( Г у= [ Т] , . . . , тД ) 

р'Лх-,х м ) = д ы+1 Р{х, <х~Х <х ы | 2 0 ,г/" }/дхдх м , (2.5) 
р(1,х;т к ,х ы ) = д м+ 'Р{х, <х;х" <х ы }/дхдх м , (2.6) 


р,(х) = дР{х,<х\ 2 І 0 ,гі™}/дх, (2.7) 

р(і,х) = дР{х І <х}/дх, (2.8) 

р' т (х ы ) = д ы Ѵ{х * <х ы \ 2 0 ,т]"'}/дх к , (2.9) 

= д"?{х" < х„ }/дх м , (2. 10) 


I х ) = 3"Р{х" < % | х, = х,1 0 ,тЦ }/дХу , (2.11) 
р(р ы ,х„ |/,х) = 5 л Р{х" <% |х ( = х}/дху , (2.12) 

р',\Л х I Аѵ) = 8р { х , < х I С = }/дх, (2. 13) 

р(г,х|т лг ,х л ,) = ар{х, <х|х" = х ы }/дх, (2.14) 

имеют место формулы [9, 10] 

КЛ х ѵ ’ х іІ 2 'о’ г 1о] =і і[ х і’ 2 о> т 1о] + і !\і\-Х? , > 2 0’ т 1о I •*<]’ ( 2 ‘ 15 ) 

^ ; 2 о > и” 1 = Л' 1-^ ; 2 о > п” 1 + 4Ѵ [•*» ; 2 о>ц" 1**1. ( 2 -^) 
/;Дх( ѵ ,хд 2 ',ц 0 "]=М{1п[д'(л-,;х г '')/р(?,х,;т д ,Д")]}, (2.17) 

ДН,; 2 оЩо"] = м 1 1п [л(т,)//)Ц ) х,)]} ) (2.18) 

/;,Д^; | А',] = М{1п[ А ' |г (х г " I х,)/р(т ы ,х, к I Г, ж,)]}, (2.19) 
ТКѴо’По'І =М{1п[р 1 '(ж^)/р(т д ,,ж")]}, (2.20) 

ГцЛх.'А’По I х"] = М{1п[р^(ж, I х”)/р((,х, I ТѵД*)]}- (2.21) 

Замечание 2. Предполагается, аналогично [8, 15, 
16]: 1) выполняются условия применимости фор- 



мул Ито и Ито-Вентцеля; 2) для стохастических ин- 
тегралов /,= {„'В ( г, со) сіХт по винеровским процессам 
Хг выполняется условие М{| 0 ѵ Р 2 (г,й))а , г}<со, обеспе- 
чивающее свойство 4/{| (1 ѵ Р(т,й))^ г }=0 [17, 18]. 


3. Основные результаты 

Утверждение 1. Апостериорная плотность (2.5) 
на интервалах 1 т <К1 т+] определяется уравнением 
(см. (2. 2-2. 4)) 

Л,р‘Лх;Хм)=1,ЛР'Лх;х к )]сІІ+р[(х;х и )х 
х[Іі(і,Х,Ху,2) ~Н(Г,2)] Т К \і, 2)с/2,, 

сЕ, =Цг, -Н(і,і)сіі (3.2) 

с начальным условием 

р'~ (т; Ху) = [с(ж, Ху , Г](1 т ), 2 )/с(гі(І т ), 2 )] р Т ~"(х; Ху), (3.3) 

где !,,[■] - прямой оператор Колмогорова, соответ- 
ствующий процессу (2.1), 

к(1,г) =М{Н(1,х ( ,х^ ,г) | г', г;"}, 

Ф 7 (7,„ ), г) = М { с(ж,_ , х” , г\(і т ), г) | г'- , ц /"Д , 
с(ж, Ху,г\(І т ),:)= ехр {- \[ф т ) ~§(Г т , ж, х я , г)] х 

х ^~'(.І т , г )\лЮ-В(( т >х,Ху,2)]} 

и /> Г '"^(х;хѵ) = Ііт р! при ?Т І т . 

Данное утверждение следует из Теоремы 3, Лем- 
мы 4 в [3], и Замечания 1. 

Теорема 1. Количество информации (2.17) мо- 
жет быть представлено в виде (2.15), где /,[•] и /(,[•] 
на интервалах 1 т <К1 т+1 определяются уравнениями 

(НХ х ,’ 2 оЛ пМ = 

= (1/2)іг{М{К~\і,2)[к(Ту,2\ х,) -к(і, г )] х 
х[к(Гц, 2 \х І )-к( 1 , 2 )] Т }]- 


_і„. е(,)« 


<71пу?(Цж,)6 <?1пу?(Цх,) 


*,]/<* = 

= (1/2)7т[М{7? _1 (7,г)[/г(7,х ( ,х т лг ,г) - 
-Л(Тлг,2|х ( )] [Д г }]- 


^ 1п р‘ А , (х| | х, ) Г 1п д' |( (я* | х, ) 


-\іг а(ом 


д\пр{т м ,х* \(,х,) діп р(т ы ,х х \1,х,) 


—1г\ (З(і)М 


дЫр{іу,хХ \их,)( <71п р(их,) 


д ^Р'г\А х " \ х ,)( дХпрХх,) 
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с начальными условиями 

1 , т \\ ; 4' > По ] = -о К ; 4 " . ■ п" ] + Д 4 . I* . ; . ■ п іі )]. ( 3 . 6 ) 

кі =4?;°[*Г ^о'^г 1 и„,]+ ^ ^ 

+А/;; і> [.т";2'",77(Х„)|х^], 

Л/,„ К ;4 т Ж< т )] = М{\а[с(т]{І т ),2 |х, щ )/с(ч(?„ ),г)]}, (3.8) 


к„] = 

= М |іп[с(х, ,х" ,гі(І т ),г) /с(г](і т ), 2 \ х, )]|, 


Н(т к ,г\х) = М{Н(1,х І ,х^ ,г)\х, = х;г' 0 ,гі™}, (3.10) 


с(ц (?„,), 2 1 х) = М{с(х,_ , х^щ (?„ ), г) | ^ = х; 2 ^, 77 " ‘} ( 3 . 11 ) 

и ^-о[']=1іт/ ( [-], /^[ ]=Пт/( А [1 при /Т? т . 

Доказательство. Так как, согласно (2.5), (2.7) и 
(2.11) рДхіхД^Дхфф/х), то интегрирование (3.1) 
и (3.3) по %с учетом (3.10), (3.11) дает, что р,(х ) на 
интервалах І т <Кі тП определяется уравнением 

<1,Р,(х) = Ц_ х [р,(х)](11 + 

+ Д,(х)[/і(т м ,2 | х)-к(1, г)] Т К~'((,2)(І2, , 


с начальным условием 

р, т (х) = [с(п(і т ), 2 1 х)/с(о(І т ),г)]р, __ 0 (х). ( 3 . 13 ) 


Априорная плотность (2.8) определяется урав- 
нением й(,/?(/ 1 ,х)=Х гх [/>( ?,х)] б//, которое следует из 
(3.12), либо в результате интегрирования по х урав- 
нения й(,р(/,х;т № Хл І )=Т (іІ [р(?,х;т № х Л г)]й , /для априорной 
плотности (2.6). Так как инновационный процесс 
I,, дифференциал которого имеет вид (3.2) такой, 
что 2=(?„Р)) является винеровским процессом с 
М { ?,?/| Р;} =1о Я(т,7.) сіт [17, 18], то дифференцирова- 
ние по формуле Ито с использованием (3.12) дает 


СІ' ІП 


Р,(х) 

Р(Г,х) 




_ ^[*(Гдг> г І х)-к( 1 , 2 )] т К \і, 2 )[Н{т ю г\ х) -И(1, г)\Л+ ( 3 . 14 ) 
+[/г(Тдг, 2 1 х)-к( 1 , 2 )] т К~\і,г)сІг г 


I 1 8 2 рДхД 1 дфЕоух^) ] 
[р„(х а ) дх; Р(с,х а ) дх; \ 


О. (3.16) 


Вычисление математического ожидания от ле- 
вой и правой части (3.15) с учетом (3.16) и Замеча- 
ния 2, а затем последующее дифференцирование 
по Г приводит к (3.4), а (3.6), (3.8) следуют в резуль- 
тате подстановки (3.13) в (2.18). 

Так как, согласно (2.5), (2.7) и (2.11) 
р' т/І (хц\х)=р т '(х',Хц)/Рі(х), то дифференцирование по 
формуле Ито с учетом (3.1), (3.12) дает, что р'ДхДх) 
на интервалах І т <«1 т+1 определяется уравнением 

л.Рг і, (Тѵ I * ) = {(1 /й (*)ХА ,ѵ [й (*;•*/ )] - 
-р[Дх ы \х)ЦДр І {х)\) + р\Дх и \х)Щ(,х,х ы ,2)- ^ 
-Ь(т м ,2\ х)] т К~ 1 ((, г)[Н{і, г)-Н{т ы , 2 1 х)]}Л + 

+ Р \ |, (% | х)[Н( 1 , х, х ы , г) - Н{т и , г | х)] т К~ 1 ((,г)(Щ 


с начальным условием 

РаДх м I х) = [с(х,х № , ц(І т )ЖІсШ т ),2 | х)]р^-°(х; |х), (3.18) 


которое следует из (3.3), (3.13). Априорная плот- 
ность (2.12) определяется уравнением 

с/,р(т м ,х м \ і,х) = 

= х(\/ ри,х))(і Іх [ри,х-,т ы ,хД] - 

(3. 1 у) 

-р(Ух’ х к \*> Х )ЦД Р( 1 ,х)])ЪШ, 

которое следует из (3.17). Дальнейший вывод (3.5) 
проводится с использованием (3. 1 7)— (3. 19) анало- 
гично выводу (3.4). Формулы (3.7), (3.9) получают- 
ся как результат использования (3.18) в (2.19). 

Теорема 2. Количество информации (2.17) мо- 
жет быть представлено в виде (2.16), где //[•] и І\\-\ 
на интервалах І т <«1 т+1 определяются уравнениями 


<[х г ";2‘,ц 0 "]М = 

=ДІ2)іг[МХК '{і, 2 )[к{і ,2 \ хД) х 


(3.20) 


Применяя к (3.14) формулу Ито-Вентцеля [19, 
20], аналогично [8] получаем 


1п 


р,(х,) 

Р(Ьх,) 


= Ч-]к + 


+ І| 1г[К'(гТ,2)[к(Т 11 ,2\Х а )-Нг7,2)]Ж]с)(Т- 




ОІ<у) 


аіп р а (Хд) (У 5ІП р(о,х а ) ^ т 


й(о) 


8х„ 8х с 

1 8 г р а (х а ) і 8 2 р(а,х а ) 


СІ(Т + 


Р а (х а ) 8x1 Р( ст >х„) 8x1 

+ І і 1п ^й Фі<<т)Л " + 


СІ(7 + 


(3.15) 


+|[А(г № ,2| х„)-А(ет,2)] К '(а.2)Ф 2 (а,г)сІѵ а . 

Аналогично [12], атакже (И. 13) в [15] 


ждх.Жж \ = 


= (1/2)1г[М{К-Х(,2)[к((,х„х?,2) -к{ 1 , г| х*)][-] г }] - 


Ж 


< 2 (!)М 


0 1п р‘ (х, | х*) (д 1п р' (д; | % ) 


дх. 


дх. 


діп р((,х, \ т ы ,х 2 )\ діп р(1,х ; | т К ,х^) 


дх, 


дх, 


(3.21) 


с начальными условиями 

Д [х?;^ ,І7 0 "] = іДХхЧЖ- Ж ■'] + Д4‘ ;2„- щОЛ, (3.22) 


йК;4-.'7о” І^]=^;/Ѵ,,;^.оГ І 1^1+ 


(3.23) 


+ д/,ух,_;2;-,гі(діхЛ, 

Д/{- МО] = М{1п[с(ч(0,г I хТ )/с(цЦ„ ),2)]} ; (3.24) 
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= М{\п[с(х І ,Х* ,г\(( т ),і) / с{г)( 1 т ), 2 \ 4)]}, (3.25) 


Ъ( 1 , 2 \х к ) = М{к(1,х 1 ,х* , 2 )\х" =х К ;г‘ 0 , 77 ” }, (3.26) 


с(п(І т ), 2 \х") =М{с(х Іт ,х*,ф т ), 2 ) | х? =х„;2'",г7о""‘} (3.27) 

и / г '--°[-]=ИпЦ'[-], ^^[ ]=1ті7^ Т [ ] при Аі т . 

Доказательство. Так как, согласно (2.5), (2.9) и 
(2.1 3) р'іхД^р'і/.Цх^р'іх^, то интегрирование (3.1) 
и (3.3) по х с учетом (3.26), (3.27) дает, что рЦх^ на 
интервалах і т <«( тН определяется уравнением 

Л,р'Ах ГІ ) = р' х (х„)[к(!,2\х я )-к(і,2Д к (3 28) 

с начальным условием 

Д т (хД=[с(г](і т ),2\хДІс(ЩД2)]р г --\х ы ). ^ 29 ) 

Так как р'Д^х^рХхД^/рЦх^, то дифференци- 
рование по формуле Ито с учетом (3.1), (3.28) дает, 
что р' І/г (х\х дг) на интервалах ( т <К( тН определяется 
уравнением 

Л,р‘,Дх\хД = 

= Д.Ар'.ѵ (х I X » )] + р\ ѵ (х I Х м Ш, X, Х ы , 2 )- 
-к(1,2 | хД] Т К-\і,2)[к(і,2) -к(1,2 | Х ы )]}сЧ + ^ 3 - 3 °) 

+лѴ ( Х I Уѵ )[*(*> х , х ы , 2 )~ к(1, 2 1 х К )^ К \і, 2 Щ 

с начальным условием 

р!у(х I х м ) = [с(х,х м ,п(І т ), 2 )/с(ч(І т ), 2 |х„ )}р',~Д{х 14), ( 331 ) 

которое следует из (3.3), (3.29). Априорные плот- 
ности (2.10), (2.14) определяются уравнениями 
сІ,р(г т х м )= 0, с1,р( і,х\ ТѵДѵ) = ДхЫі,А ТѵДѵ)] ^6 которые 
следуют из (3.28), (3.30). Дальнейшее доказатель- 
ство, т.е. вывод (3.20) (3.25) проводится аналогично 
доказательству Теоремы 1 , используя формулы Ито 
и Ито-Вентцеля и (2.20), (2.21), (3.28) (3.31). 

Следствие. Количество информации (2.17) на 
интервалах (,<1<І т+1 определяется уравнением 




= ( 1 / 2 )ИМ{Г І (/,гР(.і, 4 *:)-«І 2 )] [■]'}]- 
д 1 п р' г (х,;х?) ( <71пА(т,;4) 


Т" 




дх, 


дх, 


д 1 п р{1,х,\х я ,Д) ( д\п р(Г, х, ; т н , 4 ) 


дх. 


дх. 


(3.32) 


с начальным условием 

К:,Л*? >\;2 0 " дх ] = 

= К:Д[х? , х , т ; 2 'о" т о 1 + Д#.[^ > а„ Дд Мі, )]» 

где 

Д/(", [х^ , х, ; г),* , 17 (і т )] = 

-М { 1п[с(х ( _ , х? , г](і т ), 2 ) /с(ч( І т ), 2 )] } 

И ^Л - ] = 1ітТ А Н при /Т 

Доказательство. Уравнение (3.32) следует как ре- 
зультат использования уравнений (3.4), (3.5) в (2.15) 
или (3.20), (3.21) в (2.16). Используя (3.6) (3.9) в (2.15) 
или (3.22) (3.25) в (2.16) мы получаем формулы (3.33), 
(3.34) с учетом рХхДД=р^х к \х)р,(х)=р', /Т (х Ю=Р‘Ш и 
свойств условного математического ожидания [18] 

М{к(1,х,,х? , 2 )} =М{М{М{к( •) | х, =х,г' 0 ,т^ } | 2 І 0 ,гЦ}} = 

= М{М{к(г ІІ ,2\х,)\2 , 0 ,гі"}}=М{к(1,2)} , 
М{к(!,х„х% 2)} =М{М{М{к(-) | ^ = 4 , 2 ' 0 ,»й } 1 4 »Г„ }} = 

= М{М{к(1,2 1 4) I г'оіо)} =М{к{1, 2 )}. 


(3.33) 

(3.34) 


4. Заключение 

Полученные результаты могут быть использова- 
ны для анализа информационной эффективности 
систем с непрерывно-дискретными наблюдения- 
ми, а также для решения стандартных задач теории 
информации на рассматриваемом классе процес- 
сов х„ і„ ті(( ш ) в частности таких, как оптимальная 
передача случайных сигналов по непрерывно- 
дискретным каналам с памятью и исследование 
пропускной способности таких каналов. 
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